#Agentic Benchmark - AI Papers Daily

You Know What I Mean: A Benchmark for Agentic Conversational Reference Grounding

《你知道我的意思：面向智能体对话式引用消解的基准》

🧭 Agent 多工具引用消解基准 ★ 深度解读

Bar-Ilan University · Allen Institute for AI

提出 CoRG 对话引用消解任务和 REPOREF 基准，最优 LLM 智能体仅 67% 成功率

📌 工作参考价值（4 点）

对客服/导购 Agent：把“用户说昨天看的那款”“活动页那个券”这类间接指代建模为多步工具搜索，而不是直接 embedding 召回；把候选发现和最终选择分开诊断。论文显示 70–92% 失败发生在候选没被 surface，所以优先投入查询改写、时间/作者/类目过滤等探索策略，而不是只优化 ranking 模型。
数据构建可复用 natural masking：从含商品 ID/URL 的真实会话中，用 LLM 把显式链接改写成自然间接表达，再用 identifiability/ambiguity filter 筛出可唯一定位样本；适合低成本构造测试集或训练数据。
工具/API 设计：保留只读、按平台对象组织的搜索与元数据工具，支持按时间/作者/类型过滤；给 agent 预算 B≈6 可能获得大部分收益（B=1→B=6 从 23% 到 64%），再往上成本高但增益有限。生产环境可设 6–10 次调用上限。
诊断 bucket 值得迁移：区分 surface mismatch、competitive alternatives、sparse evidence、commit-level（或 SKU/SPU/活动商品级）等，定位自己 Agent 的失败集中区；对低文本显著性的目标（commit 或具体 SKU 变体），需额外文件/属性/历史 diff 校验。

Agent | 2026-08-30 | cs.IR | score 8/10

BALMS：长期心理健康感知的智能体 LLM 基准测试

🧭 LLM Agent 在纵向时序健康感知的评测

Dartmouth College · University of Cambridge

首个系统性基准，评估 LLM Agent 从长期可穿戴信号预测心理健康得分并生成有理据解释的能力

📌 工作参考价值（4 点）

在电商/推荐场景，用户行为序列同样长且稀疏，零样本 LLM 直接预测数值型指标（如 CTR、GMV、复购率）可能不如简单均值或周期基线；上线前必须用域内基线严格对比，避免高估 LLM 能力。
将原始时间序列压缩为紧凑的语义化特征（如“活跃度”“睡眠质量”）能显著提升 LLM Agent 的推理效果，同时降低上下文长度；可借鉴到用户行为序列的语义摘要，再交给 LLM 做归因或策略生成。
CoT 对推理型骨干有增益，但不保证时间定位和数值正确性；在 Agent 设计中应加入强制检索步骤、外部工具校验或硬约束，而非仅依赖模型自我解释。
LLM-as-Judge 可用于自动评估生成式解释的质量，但需将其与数值预测准确率解耦，因为 LLM 可能对流畅但事实错误的 rationale 给出高分；建立多维评估体系可迁移到推荐解释、诊断报告等场景。

Agent | 2026-08-27 | cs.CL | score 6/10